Multivariate time series forecasting constitutes important functionality in cyber-physical systems, whose prediction accuracy can be improved significantly by capturing temporal and multivariate correlations among multiple time series. State-of-the-art deep learning methods fail to construct models for full time series because model complexity grows exponentially with time series length. Rather, these methods construct local temporal and multivariate correlations within subsequences, but fail to capture correlations among subsequences, which significantly affect their forecasting accuracy. To capture the temporal and multivariate correlations among subsequences, we design a pattern discovery model, that constructs correlations via diverse pattern functions. While the traditional pattern discovery method uses shared and fixed pattern functions that ignore the diversity across time series. We propose a novel pattern discovery method that can automatically capture diverse and complex time series patterns. We also propose a learnable correlation matrix, that enables the model to capture distinct correlations among multiple time series. Extensive experiments show that our model achieves state-of-the-art prediction accuracy.

Sensors in cyber-physical systems often capture interconnected processes and thus emit correlated time series (CTS), the forecasting of which enables important applications. The key to successful CTS forecasting is to uncover the temporal dynamics of time series and the spatial correlations among time series. Deep learning-based solutions exhibit impressive performance at discerning these aspects. In particular, automated CTS forecasting, where the design of an optimal deep learning architecture is automated, enables forecasting accuracy that surpasses what has been achieved by manual approaches. However, automated CTS solutions remain in their infancy and are only able to find optimal architectures for predefined hyperparameters and scale poorly to large-scale CTS. To overcome these limitations, we propose SEARCH, a joint, scalable framework, to automatically devise effective CTS forecasting models. Specifically, we encode each candidate architecture and accompanying hyperparameters into a joint graph representation. We introduce an efficient Architecture-Hyperparameter Comparator (AHC) to rank all architecture-hyperparameter pairs, and we then further evaluate the top-ranked pairs to select a final result. Extensive experiments on six benchmark datasets demonstrate that SEARCH not only eliminates manual efforts but also is capable of better performance than manually designed and existing automatically designed CTS models. In addition, it shows excellent scalability to large CTS.

社会过程的持续数字化转化为时间序列数据的扩散，这些数据涵盖了诸如欺诈检测，入侵检测和能量管理等应用，在这种应用程序中，异常检测通常对于启用可靠性和安全性至关重要。许多最近的研究针对时间序列数据的异常检测。实际上，时间序列异常检测的特征是不同的数据，方法和评估策略，现有研究中的比较仅考虑了这种多样性的一部分，这使得很难为特定问题设置选择最佳方法。为了解决这一缺点，我们介绍了有关数据，方法和评估策略的分类法，并使用分类法提供了无监督时间序列检测的全面概述，并系统地评估和比较了最先进的传统以及深度学习技术。在使用九个公开可用数据集的实证研究中，我们将最常用的性能评估指标应用于公平实施标准下的典型方法。根据分类法提供的结构化，我们报告了经验研究，并以比较表的形式提供指南，以选择最适合特定应用程序设置的方法。最后，我们为这个动态领域提出了研究方向。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

我们都取决于流动性，车辆运输会影响我们大多数人的日常生活。因此，预测道路网络中流量状态的能力是一项重要的功能和具有挑战性的任务。流量数据通常是从部署在道路网络中的传感器获得的。关于时空图神经网络的最新建议通过将流量数据建模为扩散过程，在交通数据中建模复杂的时空相关性方面取得了巨大进展。但是，直观地，流量数据包含两种不同类型的隐藏时间序列信号，即扩散信号和固有信号。不幸的是，几乎所有以前的作品都将交通信号完全视为扩散的结果，同时忽略了固有的信号，这会对模型性能产生负面影响。为了提高建模性能，我们提出了一种新型的脱钩时空框架（DSTF），该框架以数据驱动的方式将扩散和固有的交通信息分开，其中包含独特的估计门和残差分解机制。分离的信号随后可以通过扩散和固有模块分别处理。此外，我们提出了DSTF的实例化，分离的动态时空图神经网络（D2STGNN），可捕获时空相关性，还具有动态图学习模块，该模块针对学习流量网络动态特征的学习。使用四个现实世界流量数据集进行的广泛实验表明，该框架能够推进最先进的框架。

相关时间序列（CTS）预测在许多网络物理系统中起着重要作用，其中多个传感器发出捕获互连过程的时间序列。基于深度学习的解决方案，即提供最先进的CTS预测性能，采用各种时空（ST）块，能够在时间序列之间模拟时间依赖性和空间相关性。但是，仍然存在两个挑战。首先，ST-Blocks手动设计，这是耗时和昂贵的。其次，现有预测模型只需多次堆叠相同的ST块，这限制了模型潜力。为了解决这些挑战，我们提出了能够自动识别高竞争力的ST-Blocks以及使用不同拓扑连接的异构ST-Block的预测模型，而不是使用简单堆叠连接的相同的ST-Block。具体而言，我们设计微型和宏搜索空间，以模拟ST-Blocks的架构和异构ST-Block之间的连接，并且我们提供了一种能够共同探索搜索空间来识别最佳预测模型的搜索策略。关于八个常用CTS预测基准数据集的广泛实验可以证明我们的设计选择，并证明AutoCTS能够自动发现智能现有人设计型号的预测模型。这是“AutoCTS：自动相关时间序列预测”“的扩展版本，以显示在PVLDB 2022中。

人和车辆轨迹体现了运输基础设施的重要信息，轨迹相似性计算是许多涉及轨迹数据分析的现实世界应用中的功能。最近，基于深度学习的轨迹相似性技术使得能够提高传统相似性技术提高效率和适应性。然而，现有的轨迹相似度学习提案强调了时间相似性的空间相似性，使得它们次开用于时光分析。为此，我们提出了ST2VEC，这是一种基于轨迹表示的学习架构，其考虑了道路网络中的时空相似度学习的对轨迹对之间的细粒度的空间和时间相关性。据我们所知，这是第一个用于时空轨迹相似性分析的深学习建议。具体而言，ST2VEC包含三个阶段：（i）培训选择代表性培训样本的数据准备; （ii）设计轨迹的空间和时间建模，其中设计了通用时间建模模块（TMM）的轨迹的空间和时间特征; （iii）时空共关节融合（STCF），其中开发了统一的融合（UF）方法，以帮助产生统一的时空轨迹嵌入，以捕获轨迹之间的时空相似关系。此外，由课程概念启发，ST2VEC采用课程学习进行模型优化，以提高融合和有效性。实验研究提供了证据表明，ST2VEC显着胜过了所有最先进的竞争对手，在有效性，效率和可扩展性方面，同时显示出低参数敏感性和良好的模型稳健性。

随着社会，医疗，工业和科学过程的扫描数字化，正在部署传感技术，从而产生越来越多的时间序列数据，从而推动了一种新的新的或改进的应用。在此设置中，异常值检测通常很重要，而基于神经网络的解决方案存在，则它们会在精度和效率方面留出改进的空间。凭借实现这种改进的目的，我们提出了一个多样性驱动的卷积的集合。为了提高准确性，该合奏采用多个基本的异常值在卷积序列到序列自动泊车上构建的基本异常值检测模型，可以在时间序列中捕获时间依赖性。此外，一种新型的多样性驱动的训练方法在基本模型中保持多样性，目的是提高集合的准确性。为了提高效率，该方法在训练期间能够高度平行。此外，它能够将某些模型参数从一个基本模型转换为另一个基本模型，这减少了培训时间。我们使用现实世界多变量时间序列报告了广泛的实验，提供了对新方法的设计选择的深入了解，并提供了能够提高准确性和效率的证据。这是一个扩展版本的“无监督时间序列异常检测与分集驱动的卷积合奏”，以出现在PVLDB 2022中。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.

The goal of autonomous vehicles is to navigate public roads safely and comfortably. To enforce safety, traditional planning approaches rely on handcrafted rules to generate trajectories. Machine learning-based systems, on the other hand, scale with data and are able to learn more complex behaviors. However, they often ignore that agents and self-driving vehicle trajectory distributions can be leveraged to improve safety. In this paper, we propose modeling a distribution over multiple future trajectories for both the self-driving vehicle and other road agents, using a unified neural network architecture for prediction and planning. During inference, we select the planning trajectory that minimizes a cost taking into account safety and the predicted probabilities. Our approach does not depend on any rule-based planners for trajectory generation or optimization, improves with more training data and is simple to implement. We extensively evaluate our method through a realistic simulator and show that the predicted trajectory distribution corresponds to different driving profiles. We also successfully deploy it on a self-driving vehicle on urban public roads, confirming that it drives safely without compromising comfort. The code for training and testing our model on a public prediction dataset and the video of the road test are available at https://woven.mobi/safepathnet